Beyond Geometric Complementarity: Coherent Overlap in Sparse Mixture-of-Experts Routing
超越几何互补：稀疏MoE路由中的一致重叠
🧭 稀疏MoE路由中的一致重叠与功能冗余分析
College of Computer Science and Technology, Zhejiang University · Department of Aeronautical and Aviation Engineering, The Hong Kong Polytechnic University
发现MoE路由中专家子空间大量重叠，但多专家计算仍具功能增益，称“一致重叠”。
📌 工作参考价值（4 点）
- 在推荐系统多专家路由模型中，不应仅凭专家表示空间的几何相似性进行剪枝或合并；需通过冻结路由或受控训练实验评估功能冗余，避免删除有用专家。
- 路由上下文交互项为负，设计路由策略时可考虑该效应，适当保留多专家以弥补前缀信息带来的选择偏好缩小。
- 进行专家负载均衡或容量分配时，可引入Expert Subspace Separation Index (ESSI) 等指标量化子空间分离度，结合下游任务表现综合决策。
- 对Agent多智体系统中的路由，可从共享邻域选择相关专家，不必强制专家分化至互不相交，仍可获得多专家协同增益。